Nellie và Major Josceline Grant là cha mẹ của Elspeth đã đến Thika vào lúc Đông Phi bảo vệ năm 1912, để bắt đầu một cuộc sống như những người nông dân cà phê và người định cư thuộc địa. Elspeth, sáu tuổi, đến vào tháng 12 năm 1913, hoàn thành với chính phủ và người giúp việc.[4] Bà được dạy dỗ trái với phong tục; bà "gần như bị coi là một bưu kiện, bị truyền tay".[4] Cuốn sách năm 1959 của Huxley The Flame Trees of Thika phơi bày sự không chuẩn bị cho cuộc sống mộc mạc của những người định cư đầu tiên của Anh. Nó được chuyển thể thành phim truyền hình năm 1981. Elspeth được giáo dục tại một trường chỉ dành cho người da trắng ở Nairobi.

Cô rời châu Phi vào năm 1925, lấy bằng nông nghiệp tại Đại học Reading ở Anh và học tại Đại học Cornell tại ngoại ô New York.[2] Elspeth trở lại châu Phi định kỳ. Bà kết hôn với Gervas Huxley, con trai của bác sĩ Henry Huxley (1865 trừ1946) vào năm 1931. Họ có một con trai, Charles, sinh vào tháng 2 năm 1944.